Sau khi tốt nghiệp từ khóa 18 tại Trường Sĩ quan Lục quân (Đế quốc Nhật Bản) năm 1905, Yamashita gia nhập Lục quân Đế quốc Nhật Bản vào năm 1906 và chiến đấu chống lại đế quốc Đức tại Sơn Đông, Trung Quốc năm 1914. Sau đó, ông theo học khóa 28 tại Đại học Lục quân, tốt nghiệp hạng 6 trong lớp vào năm 1916. Ông kết hôn với Nagayama Hisako, con gái của vị Tướng về hưu Nagayama vào năm 1916. Yamashita trở thành một chuyên gia về Đức và làm việc như là một tùy viên quân sự tại Bern, Thụy Sĩ và Berlin, Đức trong khoảng thời gian 1919-1922.

Trong chuyến đi trở về Nhật Bản vào năm 1922, Yamashita phục vụ trong Đại bản doanh Quân đội Đế quốc Nhật Bản và Ban giảng viên của trường Đại học. Trong khi làm việc tại Hội đồng Tướng quân Lục Quân Đế quốc Nhật Bản, Yamashita không thành công trong việc đệ trình một kế hoạch giảm quân. Bất chấp khả năng hoàn thành của ông, Yamashita ít được trọng dùng vì mối liên hệ chính trị của ông với các phe nhóm đối lập trong quân đội Nhật Bản. Là người chỉ huy nhóm "Đường lối Đế quốc" ông trở thành đối thủ với Tōjō Hideki và các thành viên của "Phe quyền lực".

Năm 1928, Yamashita được bổ nhiệm làm việc ở Viên, Áo với trách nhiệm là tùy viên quân sự. Năm 1930, Đại tá Yamashita được bổ nhiệm làm chỉ huy Trung đoàn Bộ binh số 3 một trong những trung đoàn thiện chiến của quân đội Nhật Bản.

Sau Biến cố 26 tháng 2 năm 1936, ông bị Thiên hoàng Chiêu Hòa thất sủng vì lời thỉnh cầu của ông nhằm giảm nhẹ hình phạt cho nhóm sĩ quan nổi loạn liên quan đến nỗ lực đảo chính.